Trên 15 ngôn ngữ bản địa khác nhau được sử dụng tại Alor, phần lớn trong số này được phân loại thuộc về nhóm ngôn ngữ Papua hay phi-Austronesia. Chúng bao gồm các ngôn ngữ như Abui, Adang, Hamap, Kabola, Kafoa, Woisika, Kelon và Kui. Ngoài ra, tiếng Alor (Bahasa Alor; ISO 693-3: aol) là ngôn ngữ thuộc ngữ tộc Mã Lai-Polynesia cũng được sử dụng dọc theo vùng duyên hải phía tây và nam mũi đất Bird của đảo Alor và tại các khu vực quanh đảo này.

Nhiều ngôn ngữ thuộc nhóm ngôn ngữ Papua tại Alor đang có nguy cơ biến mất do không còn nhiều người biết tới, nhất là trong số trẻ em. Một vài ngôn ngữ không còn quá 1.000 người sử dụng. Các cố gắng đáng kể nhất gần đây trong việc lập hồ sơ tài liệu các ngôn ngữ này được Đại học Leiden tiến hành.

Ngôn ngữ giao tiếp hàng ngày là tiếng Alor Mã Lai, biến thể duy nhất nguồn gốc Mã Lai, tương tự nhưtiếng Kupang Mã Lai. Tiếng Indonesia được giảng dạy tại các trường học và sử dụng rộng rãi trong phương tiện thông tin đại chúng.